跳转至

以少胜多：一种用于四足机器人运动的 Dyna 风格强化学习方法

文章背景与核心概要

传统的四足机器人强化学习（RL）控制策略通常依赖于“同策略”（on-policy）学习，这导致了极高的样本需求，往往需要数百万次的仿真交互才能实现稳定的运动控制。本文提出了一种基于 Dyna 架构的创新框架，通过将基于模型的预测与传统的 PPO（近端策略优化）算法相结合，显著提升了数据利用效率。

该研究的核心在于引入了一个学习型转换模型，为每条轨迹生成短期的“合成尾部”数据，并利用物理仿真进行锚定以确保稳定性。通过一种渐进式的调度策略，该方法避免了在训练初期模型预测精度较低时引入噪声，从而在保证策略性能的前提下，大幅减少了仿真步数和训练时间。该成果已在 Unitree Go1、Go2 及 ANYmal 等多种机器人平台上得到验证，证明了其在处理高维运动控制任务时的卓越效率。

摘要 (Abstract)

传统的四足机器人运动强化学习（RL）控制器通常面临数据效率低下的问题，需要数百万次的仿真环境交互才能实现稳定的控制。我们将基于模型的技术集成到 Dyna 风格的框架中，通过利用合成数据增强 PPO 轨迹采样，从而提高了样本效率。我们的方法采用学习型转换模型为每条轨迹生成短期的合成尾部，并由物理仿真进行锚定以保持稳定性。预定义的调度策略会逐步整合这些合成转换，防止在训练初期模型预测精度较低时使用模型数据。通过广泛的消融研究，我们分析了不同数据参数如何影响 PPO 的学习行为。最后，我们在 Unitree Go1 机器人的仿真中验证了该方法，在不影响策略性能或收敛性的前提下，以显著更少的仿真步数（19.64M 对比 27.53M）和 12.24% 的训练时间缩减实现了收敛。在 ANYmal 和 Unitree Go2 上的跨平台实验进一步证实了该框架在减少仿真经验的情况下学习高维运动控制的能力，尽管在复杂形态上存在奖励权衡。

Traditional on-policy reinforcement learning (RL) controllers for quadrupedal locomotion often suffer from low data efficiency, requiring millions of interactions with simulated environments to achieve stable control. We integrate model-based techniques that improve sample efficiency by augmenting PPO rollouts with synthetic data in a Dyna-style framework. Our method employs a learned transition model to generate short-horizon synthetic tails for each trajectory, anchored by physics-based simulation to preserve stability. A predefined scheduling strategy gradually integrates synthetic transitions, preventing model usage during early training stages when prediction accuracy is low. Through extensive ablation studies, we analyze how varying data parameters influence PPO's learning behavior. Finally, we validate our method in simulation on a Unitree Go1 robot, reaching convergence with substantially fewer simulation steps (19.64M vs. 27.53M) and a 12.24% reduction in wall-clock training time, without compromising policy performance or convergence. Cross-platform experiments on ANYmal and Unitree Go2 further confirm the framework's ability to learn high-dimensional locomotion control with substantially reduced simulation experience, despite reward trade-offs on complex morphologies.

方法亮点 (Key Highlights)

  • 学习型转换模型： 为每条轨迹生成短期的合成尾部，并由物理仿真锚定以维持稳定性。 > * Learned Transition Models: Generates short-horizon synthetic tails for each trajectory, anchored by physics-based simulation to maintain stability.

  • 渐进式调度策略： 随着时间推移整合合成转换，防止在训练初期模型预测精度较低时使用模型。 > * Gradual Scheduling Strategy: Integrates synthetic transitions over time to prevent model usage during early training stages when prediction accuracy is low.

  • 效率提升： 在 Unitree Go1 机器人上以显著更少的仿真步数（19.64M 对比 27.53M）实现收敛，且训练时间缩短了 12.24%，同时不牺牲策略性能。 > * Improved Efficiency: Reaches convergence on a Unitree Go1 robot with substantially fewer simulation steps (19.64M vs. 27.53M) and a 12.24% reduction in wall-clock training time, without compromising policy performance.

  • 跨平台验证： 在 ANYmal 和 Unitree Go2 机器人上确认了框架的有效性，证明了其在减少仿真经验的情况下处理高维运动控制的能力。 > * Cross-Platform Validation: Confirms the framework's effectiveness on ANYmal and Unitree Go2 robots, demonstrating its ability to handle high-dimensional locomotion control with reduced simulation experience.

元数据 (Metadata)

  • arXiv ID: arXiv:2509.06296 [cs.RO]
  • 学科: 机器人学 (cs.RO), 人工智能 (cs.AI)
  • 状态: 已被 IEEE Access 录用（13 页，10 张图，8 张表）
  • 提交日期: 2025 年 9 月 8 日 (v1)；最后修订：2026 年 8 月 7 日 (v2)
  • DOI: 10.48550/arXiv.2509.06296

作者 (Authors)

  • Francisco Affonso
  • Felipe Tommaselli
  • João H. Aléssio
  • Vivian S. Medeiros
  • Mateus V. Gasparino
  • Girish Chowdhary
  • Marcelo Becker